Second-Order Multi-Level Variance Correction for Modality Competition in Multimodal Models
多模态模型中模态竞争的二阶多层级方差校正
🧭 多模态训练优化 · 二阶方差校正
University of Oxford
提出ML-FOP-SOAP，通过Fisher正交投影和层级方差校正抑制模态冲突，稳定大batch训练并提速
📌 工作参考价值（4 点）
- 电商多模态模型（商品图文联合训练）可替换AdamW为ML-FOP-SOAP，缓解视觉生成与文本理解间的梯度冲突，提升训练稳定性与样本效率（1.4×）。
- 层级折叠策略降低梯度累积时二阶统计量的微步开销，适合大规模分布式训练中通信受限的场景，可直接复用于类似EMA方差跟踪的工程实现。
- 该方法在batch size 8192下仍能稳定训练，对需要大batch加速预训练的业务有直接价值，可尝试引入到现有大模型训练框架中。
- Fisher正交投影的模态解耦思想可推广至多任务或推荐系统中的多目标优化，通过正交化投影抑制不同目标间的梯度干扰。